โรงเรียน ภ.ป.ร. ราชวิทยาลัย ในพระบรมราชูปถัมภ์ มีหอพัก หรือที่เรียกว่า "บ้าน" เพื่อให้นักเรียนใช้เป็นที่พักอาศัยในช่วงระหว่างที่อยู่โรงเรียนสองอาทิตย์ บ้านหนึ่งจะมีนักเรียนประมาณ 300 คน แต่ละบ้านนั้นจะแบ่งกระจายนักเรียนของแต่ละชั้นเรียนให้เท่า ๆ กัน โดยมีตั้งแต่ชั้น ป.5 จนถึง ม.6 ภายในแต่ละบ้าน และแบ่งออกเป็นสองฝั่ง คือ ชั้นประถม จะอยู่ที่ตึกเด็กเล็ก ชั้นมัธยมจะอยู่ที่ตึกเด็กโต

แบ่งออกเป็น บ้าน 1 สีแสด บ้าน 2 สีเหลือง บ้าน 3 สีม่วง และบ้าน 4 สีแดง โดยถือเอาวันประสูติของสมเด็จพระเจ้าลูกเธอ และสมเด็จพระเจ้าลูกยาเธอทั้ง 4 พระองค์ เป็นสำคัญ เรื่องการถือเอาสีวันพระประสูติมาเป็นสีประจำบ้านของนักเรียนทั้งสีบ้านนี้ มีข้อความปรากฏเป็นหลักฐานอยู่ในประวัติการจัดตั้งโรงเรียน ภ.ป.ร.ราชวิทยาลัย ในพระบรมราชูปถัมภ์

การปกครองในระบบรุ่นพี่ รุ่นน้อง ตามแบบ Public School โดยจะเน้นอยู่ว่า "การจะเป็นผู้นำที่ดีได้ ต้องเคยเป็นผู้ตามที่ดีมาก่อน" ดังนั้น ก่อนที่นักเรียนแต่ละคนจะมาเป็นหัวหน้าปกครองรุ่นน้อง ก็จะเคยเป็นผู้ตามถูกปกครองโดยรุ่นพี่มาก่อน และเรียนรู้การปกครองนั้นมาปกครองรุ่นน้องถัด ๆ ไป และได้รับการคัดเลือกอย่างดีแล้วในทุกๆ ด้านก่อนจะเป็นนักเรียนชั้นปกครองหรือ Prefect